从分布式敏感数据中学习隐私的模型是一个越来越重要的问题，通常在联邦学习环境中提出。最近通过分区的变异推理算法扩展到了非私有联盟学习设置。为了保护隐私，当前的黄金标准称为差异隐私。差异隐私在强大的数学上明确定义的意义上保证了隐私。在本文中，我们介绍了差异化的分区变异推断，这是学习与联合学习环境中贝叶斯后分布的差异近似的第一个通用框架，同时最大程度地减少了通信弹的数量并为数据主体提供差异隐私保证。我们在通用框架中提出了三个替代实现，一个基于单个方面的本地优化，而两个基于扰动全局更新（一种使用联合平均版本，一个将虚拟方添加到协议中），并比较其属性，并比较其属性理论上和经验。我们表明，只要各方都有足够的本地数据，扰动本地优化与简单且复杂的模型效果很好。但是，每个方始终独立保证隐私。相比之下，扰动全局更新与相对简单的模型最有效。鉴于可以访问合适的安全原始词，例如安全聚合或安全的改组，所有各方都可以共同保证隐私。

上印度河盆地喜马拉雅山为2.7亿人和无数的生态系统提供水。然而，在这一领域，降水是水文建模的关键组成部分。围绕这种不确定性的关键挑战来自整个盆地降水的复杂时空分布。在这项工作中，我们提出了具有结构化非平稳核的高斯过程，以模拟UIB中的降水模式。先前试图在印度库什karakoram喜马拉雅地区量化或建模降水的尝试通常是定性的，或者包括在较低分辨率下无法解决的粗略假设和简化。这项研究也几乎没有错误传播。我们用非平稳的Gibbs内核参数为输入依赖性长度尺度来解释降水的空间变化。这允许后函数样品适应印度河地区不同基础地形所固有的不同降水模式。输入依赖的长度尺寸由带有固定平方 - 指数内核的潜在高斯过程控制，以使功能级别的超参数平稳变化。在消融实验中，我们通过证明其对空间协方差，时间结构和关节时空重建的能力来激励所提出的内核的每个组成部分。我们通过固定的高斯工艺和深度高斯工艺进行基准测试模型。

神经网络实施的标准方法具有强大的功能近似功能，但在其预测中学习元表示和理性概率不确定性的能力受到限制。另一方面，高斯流程采用贝叶斯学习计划来估计这种不确定性，但受其效率和近似能力的限制。神经过程家族（NPF）打算通过利用神经网络来提供元学习预测性不确定性来提供两全其美的世界。近年来，这种潜力为家庭带来了重大的研究活动。因此，需要对NPF模型进行全面调查，以组织和联系其动机，方法论和实验。本文打算解决这一差距，同时更深入地研究有关家庭成员的制定，研究主题和应用程序。我们阐明了它们的潜力，即在一个雨伞下带来其他深度学习领域的最新进展。然后，我们提供了对家庭的严格分类法，并从经验上证明了它们对在1-D，2-D和3-D输入域上运行的数据生成功能进行建模的功能。最后，我们通过讨论有关有希望的方向的观点，这些方向可以推动该领域的研究进展。我们的实验代码将在https://github.com/srvcodes/neural-processes-survey上提供。

近年来，以用户为中心的应用程序有所增长，这些应用程序需要在低数据制度中跨任务进行有效的知识转移。一个示例是个性化，通过学习少量属于特定用户的标记数据，可以调整一个预处理的系统。这种设置需要在低计算复杂性下高精度，因此准确性的帕累托前沿与适应性成本起着至关重要的作用。在本文中，我们将在几个摄影图像分类设置中推动此帕累托前沿，并具有两个关键的贡献：（i）一个称为上下文挤压和兴奋（案例）的新型自适应块，该块在新任务上调整了预处理的神经网络，以显着通过用户数据（上下文）的单个正向通过，以及（ii）基于称为大写的坐标培训协议（II）的混合训练协议，以提高性能，该协议利用了元训练的情况块和微调例程，以进行有效的适应。大写在VTAB+MD的26个数据集和充满挑战的现实世界个性化基准（Orbit）上，相对于元学习者的新最先进的准确性（轨道），从而通过领先的微调方法缩小了差距自适应成本较低的数量级。

现代的深度学习系统越来越多地部署在个性化和联合学习等情况下，需要支持i）学习少量数据，ii）沟通有效的分布式培训协议。在这项工作中，我们开发了胶片转移（FIT），该胶片在图像分类设置中满足了这些要求。 FIT使用自动配置的幼稚贝叶斯分类器在固定的主链上，该主链在大型图像数据集上仔细考虑。参数有效膜层用于调节主链，从而为下游任务塑造表示形式。该网络通过情节微调协议进行培训。该方法是参数效率的，这对于能够实现几次学习，廉价的个性化模型更新以及沟通有效的联合学习的关键。我们尝试适合各种下游数据集，并表明它可以比最先进的大型转移（位）算法在低射击和挑战性的VTAB-1K基准上获得更好的分类准确性，该算法的精度少于1％可更新参数。最后，我们证明了在分布式低弹药应用中拟合的参数效率，包括模型个性化和联合学习，其中模型更新大小是重要的性能指标。

条件神经过程（CNP; Garnelo等，2018a）是元学习模型，它利用深度学习的灵活性来产生良好的预测，并自然处理网格和缺失的数据。 CNPS缩放到大型数据集并轻松训练。由于这些功能，CNP似乎非常适合来自环境科学或医疗保健的任务。不幸的是，CNP不会产生相关的预测，从而使它们从根本上不适合许多估计和决策任务。例如，预测热浪或洪水需要在时间和空间中对温度或降水的依赖性进行建模。建模输出依赖性的现有方法，例如神经过程（NPS; Garnelo等，2018b）或FullConvgNP（Bruinsma等，2021），要么是复杂的训练或过于昂贵的。需要的是一种提供依赖预测的方法，但可以易于训练和计算障碍。在这项工作中，我们提出了一类新的神经过程模型，这些模型可以简单且可扩展，从而提供相关的预测并支持确切的最大似然训练。我们通过使用可逆输出转换来扩展提出的模型，以捕获非高斯输出分布。我们的模型可以用于需要相关功能样本的下游估计任务中。通过考虑输出依赖性，我们的模型在合成和真实数据的一系列实验上显示出改进的预测性能。

新颖的检测方法识别不代表模型训练集的样本，从而标记误导性预测并在部署时间带来更大的灵活性和透明度。但是，该领域的研究仅考虑了离线环境中的新颖性检测。最近，在计算机视觉社区中，应用程序越来越多，应用程序需要更灵活的框架 - 持续学习 - 在该框架中，代表新域，新类或新任务的新数据在不同的时间点可用。在这种情况下，新颖性检测变得越来越重要，有趣且具有挑战性。这项工作确定了这两个问题之间的关键联系，并研究了持续学习环境下的新颖性检测问题。我们制定了持续的新颖性检测问题，并提出了基准，在该基准中，我们比较了不同持续学习设置下的几种新颖性检测方法。我们表明，持续学习会影响新颖性检测算法的行为，而新颖性检测可以确定持续学习者的行为的见解。我们进一步提出了基准并讨论可能的研究方向。我们认为，这两个问题的耦合是将视觉模型付诸实践的有前途的方向。

在本文中，我们调查了问题：给定少数DataPoints，例如n = 30，可以严格的CAG-Bayes和测试集界限进行紧张吗？对于这种小型数据集，测试集界限通过从培训程序中扣留数据而产生不利影响泛化性能。在这种环境中，Pac-Bayes界限尤其吸引力，因为它们使用所有数据的能力同时学习后部并结合其泛化风险。我们专注于i.i.d.具有有界损失的数据，并考虑Germain等人的通用Pac-Bayes定理。虽然已知定理恢复许多现有的PAC-Bayes界，但目前尚不清楚他们的框架中最有束缚的终结。对于一个固定的学习算法和数据集，我们表明最紧密的绑定与Catoni考虑的绑定相一致;并且，在更自然的数据集发行情况下，我们在期望中获得最佳界限的下限。有趣的是，如果后部等于先前，则这个下限会恢复绑定的Chernoff测试集。此外，为了说明这些界限有多紧，我们研究了合成的一维分类任务，其中它是可行的 - 学习绑定的先前和形状，以便最有效地优化最佳界限。我们发现，在这种简单，受控的场景中，Pac-Bayes界竞争与可比常用的Chernoff测试集合界限具有竞争​​力。然而，最清晰的测试集界仍然导致泛化误差比我们考虑的Pac-Bayes所界限更好地保证。

Whilst deep neural networks have shown great empirical success, there is still much work to be done to understand their theoretical properties. In this paper, we study the relationship between random, wide, fully connected, feedforward networks with more than one hidden layer and Gaussian processes with a recursive kernel definition. We show that, under broad conditions, as we make the architecture increasingly wide, the implied random function converges in distribution to a Gaussian process, formalising and extending existing results by Neal (1996) to deep networks. To evaluate convergence rates empirically, we use maximum mean discrepancy. We then compare finite Bayesian deep networks from the literature to Gaussian processes in terms of the key predictive quantities of interest, finding that in some cases the agreement can be very close. We discuss the desirability of Gaussian process behaviour and review non-Gaussian alternative models from the literature. 1

Foveated imaging provides a better tradeoff between situational awareness (field of view) and resolution and is critical in long-wavelength infrared regimes because of the size, weight, power, and cost of thermal sensors. We demonstrate computational foveated imaging by exploiting the ability of a meta-optical frontend to discriminate between different polarization states and a computational backend to reconstruct the captured image/video. The frontend is a three-element optic: the first element which we call the "foveal" element is a metalens that focuses s-polarized light at a distance of $f_1$ without affecting the p-polarized light; the second element which we call the "perifoveal" element is another metalens that focuses p-polarized light at a distance of $f_2$ without affecting the s-polarized light. The third element is a freely rotating polarizer that dynamically changes the mixing ratios between the two polarization states. Both the foveal element (focal length = 150mm; diameter = 75mm), and the perifoveal element (focal length = 25mm; diameter = 25mm) were fabricated as polarization-sensitive, all-silicon, meta surfaces resulting in a large-aperture, 1:6 foveal expansion, thermal imaging capability. A computational backend then utilizes a deep image prior to separate the resultant multiplexed image or video into a foveated image consisting of a high-resolution center and a lower-resolution large field of view context. We build a first-of-its-kind prototype system and demonstrate 12 frames per second real-time, thermal, foveated image, and video capture in the wild.